● 京都市立芸術大学 特別研究助成 ２０２０年度
１ 申請区分 一般
２ 研究テーマ
京都芸大の３Ｄスキャニング〜活用可能なアーカイブとして
３ 研究者代表者
（１）所 属：版画専攻
（２）職 名：准教授
（３）氏 名：吉岡 俊直
４ 研究の内容（目的，意義，特色など）
３年半後の移転を控え、その後、旧校舎となる沓掛の京都市立芸術大学（以下＝京都芸大）の外観と内部を、３次元情報も含め、後に利用できるデジタルデータとして多角的に記録する。
東山区今熊野から沓掛の地へ移転して４０年、再び、移転を迎える。前回の移転の際には、私が知る限り、写真ベースの記録で、その資料も十分であったとは言い難いのではないだろうか。今回の移転で、後世に残すべき沓掛校舎の情報とは何か。を考察しつつ、写真、動画、３次元データ、２眼３６０度カメラ(✳1)による３Ｄ動画などで、撮影や計測を行う。
移転後、すべての校舎が取り壊される可能性は否定できない。もし、ある程度の期間、保管されたとしても、今まで通り自由に立入れるかどうかは定かでない。移転後、沓掛の４０年を振り返る機会が立ち上がったとしても、作品や断片的な写真、映像、印刷物などで、想起するほかないだろう。それらの出来事が展開された学び舎がどの様な空間であったかという説得力や情報量が如何に担保されるかが不安だ。
今年、不幸にも沖縄の首里城が消失した。現在、観光客や過去の取材映像などから集めた写真や動画を元に、フォトグラメトリー技術(✳2)で３Ｄ復元を試みているという。つまり、不特定多数の撮影者から集められた写真素材を解析することにより、３Ｄデータを生成し、再建の参考データにしたり、再建までのバーチャル訪問などの観光資源に役立てようという試みだ。(✳3) 今後の記録は、写真や動画の様に、撮影者のトリミング、画角、撮影量、撮影機材などで固定化されず、３Ｄデータ、３次元動画によって現場を客観的に捉え、後に必要となった時点で、データ内で撮影・現像が行える可逆性のある記録が必要になってくる。もしくは、ヘッドマウントディスプレイ(✳4)等で臨場感を持って体験できるなど汎用性を持った情報である事が求められるだろう。つまり、後に必要となった場所を任意の解像度、アングル、メディア形式で再生できる、RAWデータ(✳5)を保管しておく必要が今の京都芸大には必要だと考えている。
こういった３次元アーカイブ事業は、昨今、急速に進んでいる。しかし、そのデータは、専門的な知識や技術を持った人間を介して享受することが多く。むしろ、そういった専門家の為のデータとして計測された側面もあるだろう。京都芸大という場所を、学術的に捉え、アートシーンの紐解きとして解凍してゆく利用も考えられるが、同時に、４０年間の卒業生の思い出の場所という意味も多分にある。移転後、立ち入れなくなったり、取り壊された場合でも、校舎の内部に、卒業生や一般の方が、専門的な知識なしに目的の場所を訪れ、任意の視点で遠隔地からでもリアルに体験できるシステムを構築する事。用途に応じて、写真、動画、３Ｄデータ、３Ｄ映像でブラウジングできるシステムを探る事がこの研究の特徴だ。アーカイブすること自体ではなく、どの様に活用できるのか。社会実装という意味では、場所の記憶を封じ込める手立てとして、京都芸大以外の場所や建物でも活用できる研究だと考えている。
５ 研究の効果
沓掛に建つ京都芸大の校舎とその内部を写真、動画、３Ｄ映像と３次元データで残すことは、今後、取り壊すことになった場合、２度と入手できない情報の遺産となる。それが、何に、どの様に使われるかという事例を１００％想定できないからこそ、現時点で考えられる可逆的なデータを取得しておく必要があると考えている。つまり、特定の目的のために、特定の場所を重点的に記録するのではなく、美術学科に関係のある施設を、全般的に撮影し、且つ、全天球カメラで撮影する事で、可能な限り死角をなくしたいと考えている。それは、後に必要となる場所や箇所を撮り逃さないための方策であると同時に、ヘッドマウントディスプレイを着けて空間を探索する際に必要な情報にもなる。もちろん、移転後も校舎の図面は残っている。その気になれば、CADで校舎の内部をモデリングすることも可能だろう。しかし、壁の汚れや、取り残された荷物など、現状のリアリティは、建物の形だけではない。それらを、再体験できるか否かを考えると、写真や、映像だけでは不完全で、表面情報を伴った３Ｄデータが必要だ。そのデータを元に、視差を持った映像で、立体感や奥行き感を感じながら、校舎の中を散策する事ができれば、京都芸大という空間がバーチャルであるが保存できることになる。複数人で同時に鑑賞するにしても、決められた時間軸に沿って一方的に上映される動画やスライドショーではなく、コントローラーを使って、行ったり来たりしながら、観たい場所、再び訪れたい教室に入ってゆく機会が提供できる。また、３Ｄプリンターを使って任意の大きさで校舎や教室が立体化できる。これらは、ノスタルジックな意味合いだけではない。今後、沓掛時代の京都芸大の活動を美術史的に検証する際に、臨場感や空気感を付加する意味合いは検証精度や気づきを促すためにも必要ではないだろうか。京都芸大のどこで何が行われたか。という現場検証に於いて有効な保存データになり得る。
６ 研究計画，方法など
京都芸大には、本研究に必要な機材が無いことから、その機材の購入と試験運用から始めることになる。但し、現在進めている科研費の研究内容が基礎研究として存在し、３次元映像の撮影に詳しい他大学の研究者との繋がりを持っているので、技術的な下準備は整っている。
研究の流れ
１、 ドローンにより京都芸大の外観を高解像度で撮影。(✳6)
２、 １の動画を元に、フォトグラメトリーで校舎外観を３Ｄ化。
３、 ３Ｄ３６０度カメラにより、校舎内を撮影。
４、 ３の動画を元に、ヘッドマウントディスプレイで鑑賞可能なコンテンツ作り。
５、 １〜４のデータに関して、容易に利用可能なサイトを公開し、利用できるかどうかの考察。
研究計画
４月 機材の選定調達、ドローンの飛行撮影テスト。
５月 校舎の外観を地上からデジタルカメラで撮影、屋上や広域の俯瞰はドローンで撮影を行う。
６月 ドローンの動画、デジタルカメラの静止画から、３次元データを生成する。
７月 ３Ｄ３６０度カメラでの撮影テスト 最終コンテンツまでのワークフローを確立させる。
８月 撮影作業
９月 撮影作業
１０月 撮影作業
１１月 撮影作業
１２月 データの編集作業、再撮影。
１月 写真、動画、３Ｄデータ、VR用データなどの整理。
２月 目的の場所へ、素早くアクセスするためのマップやブラウザ制作。
３月 試験公開、研究発表。
最終的に得られるデータ
A.京都芸大校舎外観の写真、動画、表面情報を伴った３Ｄデータ（美術学部関係の棟を中心に）
B.京都芸大校舎内部の３Ｄ全天球動画（アトリエ、研究室、講義室、学食、など主要箇所）
C.京都芸大校校舎内の１８０度動画 （校舎内を網羅的に）
✳1 ２眼３６０度カメラ（Vuze Plus VR Camera - 3D 360° 4K VR カメラ）
１８０度の視野を持つ魚眼レンズを、前、後、右、左の４方向に、人間の目の幅で横に２個セット、合わせて８個のカメラが搭載されているカメラ。カメラを中心とした全ての方向に対して、右目と左目に視差を持つ映像が４Kで録画できる。
✳2 フォログラメトリー
写真や映像から３Dデータを導き出す写真測量法。２年前から科研費でフォトグラメトリーの研究を行なっている。
✳3 https://www.our-shurijo.org/
✳4 ヘッドマウントディスプレイ(Oculus Quest)
頭部に装着するディスプレイ装置。装置の傾きや回転、移動などの変化を映像に反映させ、没入感のある仮想現実を体験できる。右目と左目で別の映像を映し出し、空間の奥行き感も再現できる。VRゴーグル。
✳5 RAWデータ
RAW「生の」「未処理の」という意味。主としてデジタルカメラで撮影された画像記録形式に使われる用語。撮影機器で得られたデータは、元々画像ですら無い。撮影後、カメラやパソコンのデジタル処理を行う事で、像として、写真として整えられる。その過程で、間引かれる情報も多い。ここでは、元データとして処理を施していない状態、つまり最大限の情報を潜在的に持った。という意味で使っている。
✳6 ドローン（DJI Mavic Mini）
199gの小型ドローン。200g以下は航空法の規制対象外になる事から、免許、登録が不要。
✳7 「旧都城市民会館」の点群計測 https://ieiri-lab.jp/it/2019/09/point-cloud-of-miyakonojou-hall.html
研究報告書
本研究は移転を控えた京都芸大沓掛キャンパスの情報をいかに残すか。という方針の元、３次元情報の取得、バーチャル空間に大学を再生する方法を検証することに主眼を置いて進めていった。当初、予想しなかった新型コロナウイルスの蔓延で前期の半分は研究を進める事ができなかった。若干収束した時点で校内に入ると、人がいない大学は移転後のキャンパスのように雑草が生え、生気のないキャンパスになっていた。入れなくなった校舎に入る体験。バーチャルであってもその場を体感できる必要性を改めて感じた。この３次元情報は移転だけではなく、遠隔からアクセスしたり、立ち入れない場所や状況に対してのアプローチとして機能する方向性もコロナ禍によって見出したと言える。
３つの方法を段階的に検証した。まず、これまで継続的に研究しているフォトグラメトリー✳2技術による校舎内の３次元データの所得である。フォトグラメトリーは写真を元に３次元情報を算出するので特別な機材を必要とせず、デジタルカメラ等で多視点から撮影した静止画がれば３次元情報を得ることができる。しかし、これは全て写真を元にするため撮影術、写真の仕上がりが問われる。外光が入る工房等では、露出設定が難しい。日の入る部分は白とびを起こし、影の部分は黒く潰れる。写真に写っていない（白飛び、黒つぶれもコンピュータによる解析では写っていない。とみなされる）場所は立体化できないので、欠損やノイズとして３Dデータの不具合が生まれる。それと、撮影作業に関してだが、京都芸大の全教室を計測するとして、効率的に行う配慮もみつようになってくる。フォトグラメトリーは視点の差による類似箇所の抽出により三角法を用いて奥行き情報を得る。つまり、写真の一枚一枚は全て違う場所から撮影することが必要だ。工房内を２００枚〜３５０枚撮影して行くことは不可能ではないが、非常に膨大な仕事量が必要になってくる。動画を撮影しその動画から静止画を抽出する方法も試みたが、先の露出の件、ブレが生じる。解像度不足。などの観点から現実的ではなかった。それと、動画撮影して書き出した静止画による解析はフォトグラメトリーソフトでエラーが頻繁に起きた。しかし、静止画での撮影量を考えると動画素材の利用は捨てがたい。そこでドローンによる動画撮影を試みた。室内でも天井近くから見下ろした画角、全てにピントが合うCCDのパンフォーカス。動くスピードに上限を設定してブレ防止。このような観点からドローンによる室内動画撮影を行った。しかし、デジタルカメラと同じく光量不足でシャッタースピードが遅くブレが生じるのと、室内という狭い空間で取り残しがない動画撮影は操作が難しい。結局、室内のフォトグラメトリー利用で効率的に３Dデータ所得の決定的な方法は見出せなかった。デジタルカメラを用いて少ない部屋数を計測する場合は問題ないのだが、光の条件が様々で、複雑な形の物品があり、多くの部屋を計測する必要がある場合は合理的な方法ではなかった。
次に検証した方法は３Dレーザースキャナーによる計測である。レーザーによる計測は写真による計測とは違いレーザーを照射して計測を行うので光の環境による影響を受けにくい。また精度が高く後にデータをつなぐ事もできる。ただ、同じく死角にあたる立体情報を創出することはできないので、部屋の中で計測点を移動させ数ヶ所から撮影する必要がある。それでも、一ヶ所につき45秒ほどで８ヶ所としても10分ほどで１部屋の計測を終えることができる。この45秒間は走査線の様に天井から床までの計測を回転しながら行う時間だ。人が行き交う様な場所だとノイズとして人影も立体化されてしまう。しかし、今回の研究では建築外観、室内がメインなので動くものは無く、静止している複雑な形状の計測にはかなり有効だと感じた。今回、レンタルで利用した機器はライカBLK360だかこの機種はレーザー計測と同時にカメラによる全天球写真撮影も行いレーザーで計測した点群データにカラー情報も埋め込むことができる。建築、土木などの計測であれば立体データのみで事足りるかもしれないが、本研究はその場にいる臨場感を得られるかどうかも主題なので、このテクスチャー撮影機能は期待していた。しかし、元々レーザーの計測結果は点群データとして記録される。秒間36万点の点を計測できるが、その点に割り当てられたい色、テクスチャーでは若干ボケた表面情報しか得られない。その辺ではフォトグラメトリーによる立体化の方がテクスチャーの解像度は高い。より高い没入感を得られるのは立体情報の精度や破綻の無さなのか、逆に立体情報が甘くても高精細なテクスチャーが貼り付けられている方が効果が高いのか。どちらが有効か。という二者択一ではなく、現在、レーザー計測の３次元情報に、フォトグラメトリーによって生成されたテクスチャーをマッピングする。というハイブリッド生成が可能か継続的に研究している。
次に校舎の外観を計測した。ここでもまずドローンによる動画、静止画を撮影し、フォトグラメトリーで立体化を試みた。動画での撮影は解像度が低い、ブレが生じる、ドローンが静止している間も書き出されてしまう。という問題があり良好な結果は得られなかったが、手動で開始する2秒間隔の静止画撮影の写真素材はフォトグラメトリーによりシャープな３Dデータがえられた。その後、何度か撮影の方法を試した結果、以下の要素があることがわかった。撮影する際、横方向に移動して撮影する方がエラーが起きない。１階、２階、３階、屋上の撮影という横移動である。撮影環境は野外なので光の状態も重要である。フォトグラメトリーの原理上、表面が綺麗で無地な面では無くランダムな模様が全般的に入っており、光の環境はコントラストが低く、あらゆる方向に光が乱反射している、いわゆる「ねむたい照明」が適している。この状況がもっとも３次元化しやすい。まず、ランダムな模様に関していえば京都芸大の校舎は古く、汚れがあり、ありとあらゆる場所に３次元化の手がかりとなるポイントが存在している。光に関していえば快晴ではなく曇り。特に朝の光はコントラストが淡く撮影に適した環境となっている。この条件で計測してみると、校舎の一部であるが、３次元情報が良好に計測できた。先の室内と同様に、さらに精度をあげる場合は、ディテールの写真を追加撮影する。レーザー計測器のデータとハイブリッドにする。などの方法は考えられる。
以上の方法で、暫定的ではあるが室内、校舎外観の３Dデータを所得できることになった。このデータをどの様に利用するか。が本研究の次のフェーズである。まず、最初に試みたのはVRゴーグルによる鑑賞である。３Dデータをゴーグル内に映し出し、コントローラーで移動、回転。頭を動かせばそれに追従して見える場所が変わる。スケール感も現実に揃えた。体験者の身長を加味して視点の高さを調整する事もできる。実際、そこにいる感覚は高い。サウンドデータも加味すればなおさらだろう。現在、疑似体験としては一般化した方法ではあるが、VRゴーグルをかぶる。という事に抵抗感があることは無視できない。コロナ禍で無くとも他人とゴーグルを共有すること、顔の肌に触れる事はハードルある。（VR用のマスクもあるが抵抗感がなくなったとは言い難い）また、これは商品開発に関することだが、まだまだゴーグル内に表示される解像度が低く、没入すれば気にならないかもしれないが、正直、映像には粒子感が残る。そこで、VRゴーグルの様に視差や視点の動きに追従しないが、パソコン上でブラウズできるglTF（GL Transmission Format）データをブラウジングしてみた。マウスの操作でズームイン、アウト。ドラッグで回転。右マウスボタンでドラックなど快適に操作できる。室内に関しては、自由に散策する間隔。校舎のデータに関してはミニチュアを眺めている感覚に近い。ズームインすると校舎内に入って行けるのは非現実的だが妙な感覚だ。この形式であれば、特別な機器がなくてもパソコンがあれば見られる。インターネットに接続していれば、３Dデータのデータベースにアクセスして閲覧できる。マウス操作の反応や動き、レンズ効果、照明の環境などをカスタマイズできる。特に、ブラウザベースで閲覧できるので特定のソフトを必要としない事が便利である。バーチャルリアリティーの方向性として現実に近い状況を作る。と考えがちだが、直感的な操作と快適性がある方が没入感がえられる。という想定の元、このglTFデータブラウズによる京都芸大の３Dデータの閲覧を実現させる予定である。
本研究で京都芸大の３Dデータ所得とその閲覧方法のワークフローは見いだせた。しかし、これを全校舎、全教室の完全版とするには時間も予算も確保できておらず、申請書にも書いたように萌芽的な考察にとどまった。今後は、実用化するための予算捻出と、さらなる具体的なデータ取得方法、その閲覧形式に関しての研究、考察が必要であると考えている。
● 京都市立芸術大学 特別研究助成 ２０１９年度
１ 申請区分 一般
２ 研究テーマ
レーザーとドローイングマシンによるリトグラフ（石版石）への映像利用研究
３ 研究者代表者
（１）所 属：版画専攻
（２）職 名：准教授
（３）氏 名：吉岡 俊直
４ 共同研究者
（１）所 属：版画専攻
（２）職 名：准教授
（３）氏 名：田中 栄子
５ 研究の内容（目的，意義，特色など）
版画技法の一つであるリトグラフは、近年、大きな転換期を迎えている。これまで、作品制作に使用してきた金属板（アルミ版）研磨業者が２年前に廃業した。大阪に会社があり、美大のリトグラフ用金属版再生業務を一手に引き受けていた会社が無くなったことで、全国で、関東にある１社のみとなった。金属板の返送、納品を関西関東間で行う負担と、今後、その１社に頼ることへの不安から、全国的にリトグラフのルーツでもある石版石に舵を切ることになっている。
元々、リトグラフは、石灰石の上で、描画・製版・刷りを行い、石の表面を研磨する事で再利用ができる技法である。（大学内での金属板研磨は困難）しかし、自然物である石には、個体差があり、反応にばらつきが出ることや、その重さから、人工物で代用するアルミ板でのリトグラフ作品制作が中心となっていった。初期の頃は、金属板も品質が悪く、石版石を超えるものではなかったが、京都芸大の版画研究室発足の中心人物であった故吉原英雄氏が、その金属板開発に深く関わられて、品質向上と普及に尽力されたことから、全国的に見て、京都芸大、関西のリトグラフは金属板中心だったと言える。
今後、石版石に切り替えてゆかざるおえない状況だが、その際、金属板と石版石の違いが二点ある。一つは、大きさ。金属板は菊全サイズ（103×80cm）が一般的だが、石版石でこのサイズの作品を刷るのは様々な困難を有する。大きな石版石は大変貴重であり、京都芸大にも、このサイズの石版石は無い。もう一つの違いは、映像（ここでいう映像とは、カメラで撮影された静止画、写された図像を指す。動画では無い）の利用である。金属板の場合、PS板と呼ばれる感光乳剤が塗られた商品があり、紫外線を照射する事で、手軽に金属版表面に映像を製版することができた。しかし、金属板の先細りから考えると、今後、PS板を使って、映像を作品に利用することが難しくなってゆくことは容易に想像できる。では、石版石にどのように映像を焼き付けるか。乳剤を直接、石版石に塗って暗室で焼き付ける。という事も不可能では無い。しかし、石版石という自然物の個体差、重量物を暗室に運び入れて焼き付けるという取り回しの悪さ。乳剤を均質に引けるのかなど、ハードルは非常に高い。また、コピー転写を使ってインスタントに、製版する事もできるが、写真の再現とは違い、階調の点で、コピーの転写の域を抜け出せない。
本研究は、２つの方法で、石版石を使用しつつ、映像を使用できる可能性について研究を行う。一つは、レーザーを使った方法で、石版石の上にアラビアゴムを塗り、そのアラビアゴムをレーザー光線で焼く事で除去する。その後、製版作業に入れば、従来の安定した反応を有しつつ映像を使った版が制作できる。この原理を元に、昨年、テストを行った。結果は良好であった。後は、サイズを大きくし、データを取ってゆけば、学生の制作にも使え、全国的に先駆けて映像の利用が石版石上で行える事が実証できる。もう一つの方法は、映像を、機械を使って描く。というやや中庸的な方法である。この方法の重要な部分は、無機的に描くという事である。写真を下絵にして、精巧にトレースした写真のような描画。という事であれば、以前からそういった作品は存在し、そもそも映像の直接的な導入とは言えない。そこで、通常の描画材（リトクレヨン、ダーマトグラフ）を機械に持たせ、元となる映像を機械に描かせる。という方法である。写真の階調を、どのように解釈し、どのように描くかというプログラムを研究し、石版石の上で成立する描画方法を確立させる。
このような、取り組みをしている美術大学版画専攻、版画工房は、私の知る限りは無いと認識している。版画技法に関して言えば、関東を中心に、手仕事で成立させる。といった傾向が強い。その中で、デジタルデータを直接的にリトグラフに持ち込むという事は、非常にユニークな試みとして捉えられるであろう。この内容が、単なる新しい技法開発にとどまらない理由は、金属版が使えなくなった時点で、どうしてもクローズアップされる部分を見越した、理にかなった新技法であるが故に、開発の必然が浮かび上がり、数年先んじてでも、この研究を行う事で今後、大きな差へと繋がると考えている。
６ 研究の効果
レーザーによる映像のリトグラフ利用が可能になれば、石版石においても、金属板（PS版）同様に映像が扱える。版画表現の中で昨今、映像と学生作品の関係性は強くなってきている。この事が、リトグラフを取り巻く環境において、隔たれようとしている中、全国に先駆けて、研究を始める意義は大きい。また、従来のPS版でも、中間原稿が必要で、コンピュータで整えた映像を、場合によっては業者で出力し、それを原稿として焼き付ける。それには、劣化、お金、時間が伴うが、レーザーによる焼き付けは、PCからダイレクトに出力するため、中間原稿が存在しない。原稿代、時間などが軽減できる。
二つ目の方法では、ドローイングマシンを使う事で、従来の手書きのニュアンスを残しつつ、描く線の根拠は映像に由来する。というハイブリッドな方法は、描く事と、図像の関係性に対しての投げかけになる。手仕事への盲目的な信仰への問い。といってもいいだろう。この事が、版画から発信することは過去の美術運動にもあったが、リトグラフの石版石の上で展開することの異質感は興味深い。また、この研究が基礎研究となって、大型の紙、キャンバス、壁面に対し、ドローイングを制御して行うシステムの開発にも繋がる。もちろん、これまで、デジタルメディアの分野でも、ドローイングマシンは存在しているが、学生とも共同し、デジタルデータの出力として、インクジェットプリンター、テレビモニター、プロジェクター以外のメディア開発として繋げて行きたい。
７ 研究計画，方法など
本研究の技術的裏づけは、もう既に、昨年おこなっており、技術的に不可能という問題は起きない。
採択されれば、機器のサイズアップと、能力向上、健康面、安全面に配慮した機器に更新させる。その後、あらゆる設定で、焼き付け、描画を行い、テストピースを制作し、リトグラフの制作に使える出力データのテンプレートを制作する。上記の内容以外では、デジタル出力の知識が乏しくても、簡単に誰でも使用できる装置としてマニュアル化すること。研究内容を外部へ発信し、リトグラフ技法の発展、研究内容の共有、京都芸大版画専攻の取り組みを伝えてゆく。
４月〜５月 機材の調達、組み立て、試験運用。
６月〜８月 テストピースを制作し、設定による像の結び方のデータを取ってゆく。
９月〜１０月 中間報告として、それまでの研究経過を発表する。
１１月〜１２月 精度の向上と、石版石の厚みによって上下できる構造など利便性を追求する。
１月〜３月 学生でも使用でき、他大学でも導入可能なシステムのパッケージング化。研究成果報告書の制作。次年度、版画学会での研究発表、論文寄稿の準備。